URL to Training Data
Python ile veri hazırlama
Web sayfalarındaki metinleri, kaynak ve başlık bilgilerini koruyarak yapay zekâ eğitimi için veri dosyalarına dönüştüren araç.
- Kimler için?
- Metin veri setleri hazırlayan geliştiriciler
- Katkım
- Kişisel proje · Yazılım geliştirme
- Dönem
- 2025
Çözülmesi gereken ihtiyaç
Uzun web içeriklerini eğitim verisine dönüştürürken başlık, kaynak ve tablo bağlamını korumak; işlemeyi tekrar çalıştırılabilir kılmak gerekiyor.
Ortaya çıkan işlevler
Kaynak bilgisiyle JSONL diyalog verisi veya CPT ham verisi hazırlayan; batch, retry ve işlenmiş URL takibi içeren bir akış oluşturuldu.
Ben ne yaptım?
Python pipeline içinde scraping, temizleme, token/başlık bazlı bölümleme ve JSONL üretimi üzerinde çalıştım; LLM çağrısı olmadan ham veri hazırlama modu ekledim.
Geliştirme ayrıntılarını incele
Teknik yaklaşımla ilgilenenler için: çalışma akışı, kullandığım teknolojiler ve uygulama kararları.
Süreç nasıl işliyor?
Web sayfasını eğitim verisine dönüştürme; kaynağı hazırlama, bağlamı koruyan parçalama ve seçilen veri üretim moduna göre ayrılıyor.
Ana akış
URL listesini ve işlem geçmişini al
Toplu girdiler hazırlanır; işlenmiş URL takibi tekrarları kontrol etmeye yardımcı olur.
Sayfayı topla
Scraping aşaması kaynak web sayfasının içeriğini alır.
İçeriği temizle
Sayfa gürültüsü ayrıştırılır; eğitim verisine uygun metin hazırlanır.
Başlık ve token sınırlarıyla parçala
Chunking bölüm başlıklarını ve uzun tabloların bağlamını koruyarak metni böler.
Üretim modunu seç
Yapılandırılmış örnek üretimi Gemini yoluna; CPT raw modu LLM’siz çıktı yoluna ayrılır.
Gemini ile örnekleri üret
Parçalar üzerinden eğitim örnekleri toplu işleme ve retry mekanizmalarıyla üretilir.
Kaynak bilgisiyle JSONL yaz
Kaynak URL ve başlık metadata’sı üretilen eğitim örnekleriyle birlikte JSONL’e taşınır.
Alternatif ve destek süreçleri
CPT raw modu seçilirse
- LLM adımını atla
Temizlenmiş kaynak içeriği Gemini çağrısı yapılmadan kullanılır.
- Ham eğitim verisini yaz
CPT için ham metin çıktısı hazırlanır; yapılandırılmış örnek üretimi uygulanmaz.
Toplu üretimde hata oluşursa
- Hatalı işi yeniden dene
Batch / retry mekanizmaları başarısız üretim denemesini yeniden ele alır.
- Sonucu çıktı yoluna aktar
Başarılı sonuçlar kaynak metadata’sıyla çıktı sürecine döner.
Çözüm yaklaşımı
- Web scraping, içerik temizleme ve Hugging Face tokenizer ile token/başlık bazlı chunking pipeline'ı üzerinde çalıştım; uzun tablo/listeler için bağlamı koruyan bölümleme uyguladım.
- Gemini API ile kaynak ve başlık metadata'sı içeren JSONL diyalog verisi üretimi; başarısız üretimlerde retry ve batch işleme akışlarını geliştirdim.
- LLM çağrısını atlayan CPT raw-data modu ekledim; işlenmiş URL takibi ve Docker/Compose ile tekrar çalıştırılabilir veri hazırlama akışları düzenledim.
Teknolojiler
- Python
- Gemini API
- Hugging Face tokenizer
- JSONL
- Docker