Kullanıcı Kılavuzu

Save Source

Save Source

Kuika’nın Save Source aksiyonu, bir dizi içerisindeki belirli bir alt kümenin oluşturulmasını sağlar. Bir uygulama içindeki dizilerde belirli bir başlangıç ve bitiş indeksine göre alt diziler seçmenizi ve bu alt diziler üzerinde işlem yapmanızı sağlar.

Save Source üç farklı şekilde kullanılabilir:

  • Google Drive
  • AWS S3
  • Manuel (Local) Yükleme

Bu sağlayıcılar için gerekli ön düzenlemeleri yaparak kaynak ekleyebilirsiniz. Kaynaklar, aranabilecek dökümanlara veya bu dökümanları içeren dosyalara karşılık gelir.

Desteklenen dosya türleri:

  • .txt, .csv, .pdf, .docx, .xls, .xlsx
  • Google Drive için ek olarak: Google Docs ve Google Sheets

Teknik Özellikler

  • Web ve Mobil Uygulama Desteği: Web ve mobil uygulamalarda kullanılabilir.
  • Veri Saklama: Veriler, Qdrant koleksiyonlarında vektör verisi olarak indekslenebilir.
  • Senkronizasyon Frekansı: Saatlik aralıklarla düzenli güncelleme yapılabilir.
  • Otomasyon Uyumluluğu: Başka aksiyonlarla birlikte zincirleme çalışabilir.
  • Yetkilendirme: Google ve AWS tarafında güvenli bağlantı için yetkilendirme anahtarları zorunludur.
  • Hata Yönetimi: Giriş hataları, bağlantı kopmaları veya format uyuşmazlıklarında sistem log kayıtları üretir.

Bu eğitim içeriğinde, Google Drive, AWS S3 ve Manual yükleme seçeneklerini kullanarak kaynak eklemeyi öğreneceksiniz.

Save Source Aksiyonu Ekleyin

  1. Kuika platformuna giriş yapın.
  2. Apps ekranından çalışacağınız projeyi açın.
  3. UI Design modülünde sağ kenarda bulunan Properties panelini açın.
  1. + ADD ACTION menüsünden istediğiniz tetikleyici olaya (Initial Actions, OnClick, OnBlur vb.) göre Searching > Save Source aksiyonunu ekleyin.
  2. Açılan ayarlarda aşağıdaki alanları doldurun:

Temel Parametreler

  • Source Type: Google Drive / AWS / Manual
  • Name: Kaynak adı
  • Update Interval in Hour: Saat cinsinden senkronizasyon süklüğü

Opsiyonel Parametreler

  • Collection Name: Koleksiyon adı (varsayılan: DefaultCollection)
  • Correlation Id: Eşleştirme veya hata takibi için kullanılır.

Google Drive Yükleme

Google Drive'ın kullanılması için yetkilendirilmiş bir Google Console hesabı gereklidir.

Proje Oluşturma ve Seçme

  1. Proje seçim ekranından proje yaratılır. 
  1. Yeni bir proje oluşturun veya mevcut bir projeyi seçin.
  1. Eklenecek kaynak bir organizasyon hesabına aitse, proje bu organizasyondan türetilmelidir.

Google Drive API Aktifleştirme

  1. APIs & Services ekranına erişin.
  2. Google Drive API'yi etkinleştirin.

Service Account Oluşturma ve Erişim

  1. IAM & Admin ekranına erişin.
  1. Gerekirse yeni bir Service Account oluşturun.
  2. Rol listesinden "Viewer" seçeneğini seçin.

Key Oluşturma

  1. Service Account bölümünde Manage Keys seçeneğine gidin.
  1. Create New Key butonuna tıklayın ve JSON formatında bir key oluşturun.
  1. İndirilen JSON dosyasından aşağıdaki bilgileri alın:
    • private_key
    • client_email
    • token_uri

Bu bilgiler üzerinden kaynak eklenebilir. private_key bilgisi, BEGIN ve END PRIVATE KEY alanlarını da içerecek şekilde eklenmelidir.

FileID ve FolderID Alma

  1. Google Drive'da dosyanızın paylaşım linkini kopyalayın.
  2. Link içinde yer alan fileID ve folderID bilgilerini kaydedin.

Örnek bağlantı: https://drive.google.com/file/d/1vNG371Q2ZAkC0X7e8AHm2lftTMRSqWO_/view?usp=sharing

Burada 1vNG371Q2ZAkC0X7e8AHm2lftTMRSqWO_ kısmı fileID'dir.

Save Source Tanımlama

  • Source Type: Google Drive
  • Name: Dosya ismi
  • Update Interval in Hour: Kaynağın kaç saatte bir senkronize edileceğini belirler.

Client Email, Private Key, Token Uri, Folder Id ve File Id gibi bilgiler Google Drive servis hesabına ait JSON dosyasından alınmalıdır.

Manuel Yükleme

Manuel yükleme işlemi Base64 formatında dosya yüklenmesini sağlar.

Base64 Formatına Dönüştürme

Save Source Tanımlama

  1. Source Type → Manuel
  2. Name → Dosya ismi
  3. Update Interval in Hour → Senkronizasyon süresi
  4. Base64 Content → Base64 formatındaki dosya içeriği

Amazon S3 Yükleme

Amazon S3 kullanımı için S3'e read access sahibi bir hesap gerekmektedir.

Aşağıdaki bağlantı üzerinden AWS Management Console’a erişebilirsiniz. Bu sayfadan giriş yaptıktan sonra S3 servislerine ulaşabilirsiniz: AWS Console – EU (Stockholm) Bölgesi

Eğer hesabınız yoksa, AWS üzerinden ücretsiz bir hesap oluşturabilir ya da sistem yöneticinizle iletişime geçerek gerekli erişimi talep edebilirsiniz.

IAM User Oluşturma

  1. IAM bölümüne gidin ve Add Users butonuna tıklayın.
  1. Kullanıcı adını belirleyin ve ilerleyin.
  1. "Attach policies directly" seçeneğinden AmazonS3ReadOnlyAccess iznini atayın.
  1. Kullanıcıyı oluşturduktan sonra Security Credentials ekranından Access Key oluşturun.
  2. Access Key ve Secret Access Key bilgilerini bir yere kaydedin.

Bu bilgiler yalnızca bir kez görüntülenir.

  1.  Arama kısmına Buckets yazılır ve “Buckets” seçeneğine tıklanır.
  1. “Create bucket” butonuna tıklanarak bucket oluşturma ekranına gidilir. 
  1. “Bucket Name” kısmından bucket adı girilir. Geri kalan özellikler kullanıcı bazlı değişebilir ya da bu haliyle kalabilir.
  1. Oluşturulan Bucket'a girilir.

Save Source Tanımlama

  1. Source Type → AWS
  2. Name → Dosya ismi
  3. Update Interval in Hour → Senkronizasyon süresi
  4. Gerekli bilgileri ekleyin:
    • awsAccessKeyId
    • awsSecretAccessKey
    • bucketName
    • S3uri

Save Source Aksiyonu Kullanımı

Google Drive Save Source Action’da Folder Id ve File Id Parametrelerinin Alınması ve Kullanılması

Google Drive’da Dosya Kimliklerini (ID) Alma

  1. Google Drive'da, bir klasörün içine eklenen dosyaya sağ tıklayın ve
    Paylaş → Paylaş seçeneklerine tıklayın.
  2. Açılan ekranda, service account kullanıcı hesabının görüntüleme erişimine sahip olduğundan emin olun.
  3. Bağlantıyı Kopyala butonuna tıklayın.
  4. Kopyalanan bağlantıyı bir yere yapıştırın.
  5. Bağlantıda yer alan File ID ve Folder ID’yi alın: 

Örnek bağlantı: https://drive.google.com/file/d/1vNG371Q2ZAkC0X7e8AHm2lftTMRSqXX_/view?usp=sharing

  1. Buradaki alan: 1vNG371Q2ZAkC0X7e8AHm2lftTMRSqXX_ → File ID

Klasör için bağlantı örneği: https://drive.google.com/drive/folders/18V8ZSYTNE8T_gKum3ZVUK5wHZQXXXXaa

  1. Buradaki alan: 18V8ZSYTNE8T_gKum3ZVUK5wHZQXXXXaa → Folder ID

Arayüzde Save Source Action’ı Oluşturma

  1. UI Design modülünde, sol kenardaki Elements panelinden bir Button elementi ekleyin.
  2. Bu butonun onClick aksiyonunda Save Source action’ını tanımlayın.
  3. Aşağıdaki parametreleri yapılandırın:

Google Drive İçin Save Source Parametreleri

  • Source Type: Google Drive
  • Name: Dosyanın adı (Kullanıcı tarafından belirlenir)
  • Update Interval in Hour: 1 (Bu, sistemin dosyayı kaç saatte bir senkronize edeceğini belirtir.)
  • Client Email: test-652@vector-search-test-443209.iam.gserviceaccount.com (Google Drive ortamında, görüntüleme yetkisine sahip service account e-posta adresi)
  • Private Key:
-----BEGIN PRIVATE KEY-----MIIEvQIBADANBgkqhkiG9w0BAQEFAASC...Y29kZXJpbmcsIG11dGxpbGluZyBzZWN1cml0eQpFbWFpbCBzZXJ2aWNlcyB0ZXN0aW5nCg==p92jslK3jf82jd92Ksl39Dksl9dk20sP== L2V4YW1wbGVzL3Rlc3Rfa2V5X2RhdGE=QW55IHRleHQgdGhhdCBsb29rcyByZWFsaXN0aWMgaXMganVzdCBmb3Igc2hvdw==-----END PRIVATE KEY-----
  • (Google Drive JSON dosyasındaki private key bilgisi)
  • Token Uri: https://oauth2.googleapis.com/token (Google Drive ortamını hazırlarken JSON dosyasından alınan Token URI)
  • Folder Id: 18V8ZSYTNE8T_gKum3ZVUK5wHZQM3s2aa (Google Drive klasör kimliği - Folder ID)
  • File Id: 1vNG371Q2ZAkC0X7e8AHm2lftTMRSqWO_ (Google Drive dosya kimliği - File ID)
  • Collection Name (opsiyonel): googledrive1 (Qdrant sisteminde belirli bir koleksiyon ismi belirler. Girilmezse, DefaultCollection olarak alınır.)
  • Correlation Id (opsiyonel): correlationId (Kaynağın güncellenmesi veya kimlik değişikliklerinde kaydın yeniden eklenmesini sağlar.)

Amazon S3 İçin Save Source Action’ı Oluşturma

  1. UI Design modülünde, bir Button ekleyin.
  2. Bu butonun onClick aksiyonunda Save Source action’ını tanımlayın.
  3. Aşağıdaki parametreleri yapılandırın:

Amazon S3 Save Source Parametreleri

  • Source Type: AWS
  • Name: Dosyanın adı (Kullanıcı tarafından belirlenir.)
  • Update Interval in Hour: 1 (Dosyanın kaç saatte bir senkronize edileceğini belirtir.)
  • awsAccessKeyId: key (AWS erişim anahtarı)
  • awsSecretAccessKey: key (AWS gizli erişim anahtarı)
  • Bucket Name: test-bucket-vector-search (AWS ortamında kullanılan bucket adı)
  • S3uri: s3://test-bucket-vector-search/s3Folder/ (AWS ortamında, S3 dosya yolu)
  • Collection Name (opsiyonel): googledrive1
  • Correlation Id (opsiyonel): correlationId

Manual Save Source Action’ı Oluşturma

  1. UI Design modülünde, bir Button ekleyin.
  2. Bu butonun onClick aksiyonunda Save Source action’ını tanımlayın.
  3. Aşağıdaki parametreleri yapılandırın:

Manual Save Source Parametreleri

  • Source Type: Manual
  • Name: Dosyanın adı (Kullanıcı tarafından belirlenir.)
  • Update Interval in Hour: 1 (Dosyanın kaç saatte bir senkronize edileceğini belirtir.)
  • Folder Path: null
  • File Path: null
  • Base64 Content:
data:<mimetype_of_file>;base64,……
  • (Dosyanın Base64 formatında içeriğini almak için bir Base64 dönüştürme sitesi kullanılabilir.)
  • Collection Name (opsiyonel): googledrive1
  • Correlation Id (opsiyonel): correlationId

Bu adımları takip ederek, Google Drive, AWS S3 veya Manual yöntemleriyle kaynaklarınızı Kuika platformunda başarılı bir şekilde yönetebilirsiniz. 

Kullanım Senaryosu: Doküman Bazlı Veri Yönetimi

Bir şirket, Google Drive’da bulunan proje dokümanlarını belirli aralıklarla Kuika uygulamasına aktararak arama altyapısının güncel kalmasını sağlamak ister.

  • Source Type: Google Drive
  • Name: proje_dokumanlari
  • Update Interval: 4
  • Collection Name: googledrive1
  • Folder Id / File Id: ilgili Google Drive paylaşım linkinden alınır
  • Authorization: JSON dosyasından alınan bilgiler

Aksiyon tanımlandıktan sonra, her 4 saatte bir Google Drive’daki dosyalar sorgulanır ve Qdrant koleksiyonuna eklenir.

Save Source Aksiyonu İleri Seviye Özelleştirmeler

  • Collection Name alanı kullanılarak farklı dosyalar gruplandırılabilir.
  • Correlation Id sayesinde kaynaklar arasında ilişkisel takip yapılabilir.
  • UI içinde dinamik form inputları ile kayıt bilgileri kullanıcıdan alınabilir.

Teknik Riskler 

  • Yetkilendirme Hataları: Google Drive için service account'un dosyalara erişim izni olmalıdır.
  • S3 Erişim Problemleri: AWS anahtarları yanlış girildiğinde bağlantı hatası olur.
  • Base64 Format Hataları: Dönüştürülen dosya içeriği eksikse dosya boş ya da okunamaz olur.
  • Fazla Kaynak Kullanımı: Yüksek senkronizasyon frekansları sistem performansını etkileyebilir.

İlişkili diğer içerikler

No items found.

Sözlük

No items found.

Alt Başlıklar