Data 360:n yhteensopivuus
Yritykset säilyttävät dataa usein Salesforcessa ja muissa ulkoisissa datasäiliöissä (esimerkiksi Snowflake, Google BigQuery, Databricks, Redshift tai objektin tallennustila, kuten Amazon S3). Datan erottaminen useista järjestelmistä aiheuttaa haasteita yrityksille, jotka haluavat hyödyntää datansa kaikkia arvoja tekoälyyn perustuvien käyttökokemusten parissa. Salesforce Data 360 on perustietojen kerros, jota kaikki Agentforce AI -agentit käyttävät käyttääkseen oikeaa kontekstia oikeaan aikaan.
Arkkitehdit, jotka työskentelevät datan yhdistämiseksi useiden data-järvien välillä, kohtaavat tärkeitä arkkitehtonisia päätöksiä siitä, miten datan voi integroida parhaiten. Data 360 tarjoaa useita vaihtoehtoja datan integrointiin, joista jokainen tarjoaa useita etuja ja haittoja.
Tämä opas tarjoaa kehyksen, jolla voit arvioida, mikä kuvio sopii parhaiten viiveen, kustannusten, skaalattavuuden, hallinnan ja monimutkaisuuden vaatimuksiin, kun integroit dataa, ja auttaa sinua valitsemaan, milloin käyttää datan tuontia, nollakopiodatan yhdistämistä tai hybridimenetelmää. Ohje auttaa sinua myös valitsemaan eri menetelmiä tietojen syöttämiseen ja yhdistämiseen, joista jokainen täyttää eri tarpeet.
Ulkoisten Data Lake -talojen integrointi Data 360:n kanssa vaatii, että harkitset huolellisesti tietojen tuoreuden, hallinnan ja myyntiputken tehokkuuden välistä kompromissia. Esimerkiksi Zero Copy -datayhdistämisen live-kyselyiden käyttäminen maksimoi datan tuoreuden, mutta saattaa heikentää myyntiputken tehokkuutta, kun enemmän dataa siirtyy verkon ylle. Useimpien todellisten toteutusten optimaalinen polku on yhdistää syötön ja yhdistämisen usean pilven järven talo -ekosysteemissä. Tämä hybridimenetelmä varmistaa skaalattavan, hallittavan ja yhteentoimivan arkkitehtuurin, joka tukee vähäisen viiveen operatiivisia työkuormia (esimerkiksi reaaliaikaista personalisointia ja petosten havaitsemista) ja analyyttisiä työkuormia (esimerkiksi sääntelyraportointia ja historiallisten trendien analyysiä). Tämä opas auttaa sinua määrittämään, miten voit selata näitä kompromisseja käyttämällä sopivaa strategiaa.
- Datan syöttö -ominaisuus kopioi tiedot Salesforce Data 360 -palveluun ja luo hallittuja, kanonisia datamalleja. Tämä on ihanteellinen, kun sinun täytyy:
- Laadi kattava Customer 360. Näin voit yhdistää ja muuntaa eri lähteitä yhdeksi luotetuksi profiiliksi.
- Noudata tiukkoja lakisääteisiä säännöksiä. Näin voit luoda tarkastettavan, keskitetyn kopion, jotta tietojen käyttöoikeuksia ja linjaa voidaan hallita tarkasti.
- Zero Copy Federation kyselee ulkoisia lähteitä reaaliajassa ilman identtisiä tietueita, mikä mahdollistaa reaaliaikaisen personalisoinnin, live-mittaristojen ja nopean lähdekäynnistyksen. Tämä lähestymistapa tarjoaa kaksi ensisijaista vaihtoehtoa, mutta on olemassa kompromisseja, jotka täytyy tasapainottaa:
- Live-kysely: Käytä tätä interaktiivisia analyysejä ja reaaliaikaisia datamittaristoja, jotka toimivat ulkoisissa datalustoissa (esimerkiksi Snowflake, BigQuery, Redshift tai Databricks). Näin vältyt hitaalta ja kalliilta datan kopioinnilta siirtämällä kyselyiden käsittely lähdejärjestelmään ja palauttamalla vain tarvittavat tulokset. Tämä lähestymistapa on optimoitu harvoille tai ad hoc -kyselyille, joissa tuoreus on tärkeää. Se soveltuu alhaisen kyselyn per sekunti (QPS) työkuormille (kyselyiden kustannukset saattavat kasvaa merkittävästi korkealla QPS:llä).
- Välimuistiin tallentaminen (Accelerated Query): Käytä tätä tavallisille datakyselyille, jotka eivät muutu usein. Nopeutetut kyselyt ylläpitävät paikallista välimuistia, joka päivitetään määritettyin väliajoin (15 minuutista 7 päivään), mikä vähentää toistuvia lähdehälytyksiä. Tämä lähestymistapa tasapainottaa mittariston suorituskykyä ja kustannuksia, segmentointia ja BI-työkuormia, joissa hieman vanhentuneet tulokset ovat hyväksyttäviä. Tämä ei sovellu alitason päätöksentekoon.
- Tiedoston yhdyskäyttö: Käytä tätä suuria eräkäsittelytapoja ja tekoälymallin koulutusta datalle pilvipalvelimesi datameressä (esimerkiksi S3 tai ADLS). Tämä tapa välttyä hitaalta ja kalliilta tuonnilta kyselemällä tiedostoja suoraan avoimien taulukoiden muodossa, mikä avaa suuret ETL-datajoukot ja datatieteelliset työkuormat.
- Hybridimallit yhdistävät syötteen yhtenäistettyihin profiileihin yhdistämällä tuoreuden, joka tukee omni-kanavan osallistumista, Agentforcen ohjaamia toimintoja ja tekoälyn/ML-koulutusta.
- Hybridimarkkitehtuurin käyttäminen. Datan syöttämisen ja yhdistämisen yhdistäminen on usein tarpeen.
- Käytä kriittisen datan Datan syöttö -ominaisuutta kanonisia datamalleja ja ydinhallintaa varten.
- Käytä kaikkien muiden tietojen yhdistämiseen Zero Copy -funktiota pitääksesi datan tuoreena ja minimoidaksesi datan tuontiputkien rakentamisen ja ylläpitämisen liiketoimintakulut.
- Datan syöttötaajuudella on merkitystä. Valitse yleisyys liiketoiminta-arvon, viiveiden tarpeiden ja monimutkaisuuden perusteella.
- Käytä ajasta riippuvaisia työnkulkuja reaaliajassa (esimerkiksi personalisointi, live-mittaristot ja Agentforce-toiminnot).
- Käytä lähes reaaliaikaa kohtalaisen kiireellisille prosesseille (esimerkiksi kampanjoille ja toimintoraporteille).
- Käytä erätöitä historiallisille tai lyhytaikaisille datajoukoille.
- Yhdistämiskuvioiden täsmääminen hitauteen ja suorituskykyyn. Valitse vaihtoehto, joka vastaa parhaiten käyttöoikeuksia ja raikasta, suorituskykyä ja kustannuksia koskevia vaatimuksiasi.
- Käytä live-kyselyä operatiivisille mittaristoille ja reaaliaikaiselle personalisoinnille, kun heikko viive on tärkeää.
- Käytä välimuistiin tallentamista (Accelerated Query), kun kyselyt ovat yleisiä ja hieman vanhentuneet tulokset ovat hyväksyttäviä, mikä auttaa tasapainottamaan suorituskykyä ja kustannuksia.
- Käytä tiedostoja yhdyskäyttöön suuria, läpimenoa raskaita analyysejä tai erätyökuormia varten, mikä soveltuu hyvin historiallisille tai vähemmän ajasta riippuvaisille datajoukoille.
- Yhdistä hallinta tietojen säilyttämisen vaatimuksiin.
- Käytä saantia, kun keskitetty hallinta on tärkeää.
- Käytä liittoutumista, kun hajautettu hallinta on hyväksyttävää, ja noudata samalla tiukkaa hallintaa ulkoisessa lähteessä.
- Käytä lähdetason käytäntöjen (esimerkiksi rivitason suojauksen (RLS) ja datan peittämisen) suhteen nollakopiointia.
- Priorisoi syöttö arvokkaille työnkuluille. Sovella syötettä valikoiden mukaan kriittisiin prosesseihin (esimerkiksi identiteetin ratkaisemiseen, lakisääteiseen raportointiin ja toiminnalliseen aktivointiin).
- Kustannukset ja monimutkaisuus vaikuttavat päätöksiin. Reaaliaikainen tuonti voi olla kalliita ja monimutkaisia. Siksi arkkitehtien on tärkeää punnita datan perehdytyksen, tallentamisen ja muuntamisen kustannukset verrattuna sen kyselemiseen suoraan Zero Copy -toiminnolla.
Oikean integraatiokuvion valitseminen — Datan syöttö, Zero Copy tai Hybrid -menetelmä — vaikuttaa suoraan viiveeseen, hallintaan, toimintatehokkuuteen ja kustannuksiin usean pilvitason alustoilla. Tämä päätös määrittää, miten reaaliaikaiset havainnot, tekoälyn perustuva aktivointi ja henkilökohtainen osallistuminen toimitetaan luotettavasti ja laajalti.
Tämä taulukko vertaa Salesforce Data 360 -sovelluksen datan syöttötapahtumia ja nollakopiointia, keskittyen ominaisuuksiin, kompromisseihin ja etuihin sekä yrityksen käyttötapoihin ja lopputuloksiin. Käytä tätä viiteoppaana, kun suunnittelet hybridipohjaisia, usean pilven datalustoja, jotka tasapainottavat suorituskykyä, kustannuksia ja vaatimustenmukaisuutta.
| Kuvion tyyppi | Tila/työkalu | Edut | Kysymykset | Tulokset |
|---|---|---|---|---|
| Datan syöttö |
Reaaliaikainen:
|
|
|
Agentforce:
|
Streaming:
|
|
|
Agentforce:
|
|
Erä:
|
|
|
Agentforce:
|
|
| Nullakoodi |
Live-kysely:
|
|
|
Agentforce:
|
Kiireistetty kysely (välimuisti):
|
|
|
Agentforce:
|
|
Tiedoston yhdyskäyttö:
|
|
|
Agentforce:
|
Data 360 sisältää kolme ensisijaista integraatiokuviota: datan tuonti, datan nollan kopioinnin liittäminen ja hybridimenetelmä.
Datan syöttö -ominaisuuden avulla data kopioidaan fyysisesti Data 360:ään ja hallitaan täysin, toisin kuin Zero Copy, jossa data pysyy lähteessä. Toisin sanoen transformaatioiden laskenta tapahtuu Data 360:ssa, joka tarjoaa keskitetyn hallinnan ja auditoinnin.
Käytä datan syöttämistä tallentaaksesi kanonisia, hallittuja datajoukkoja Salesforce Data 360 -palveluun vaatimustenmukaisuuden ja toiminnan hallinnan varmistamiseksi. Käytä syötettä, kun täysi hallinta, auditointi ja jäljitettävyys vaaditaan. Datan syöttö on ihanteellinen säänneltyihin tai arvokkaisiin työnkulkuihin, joissa keskitetty laskenta ja hallinta ovat tärkeitä.
Käsittely soveltuu luotettavaksi perustaksi henkilöllisyyden ratkaisemiseen, lakisääteiseen raportointiin ja kriittisiin tekoälyyn perustuviin työnkulkuihin ja asiakasosallistumiseen.
Datan syöttömenetelmät saattavat vaihdella riippuen datan tuontiin käyttämästäsi liittimestä. Jotkin liittimet tarjoavat useita syöttömenetelmiä, kun taas toiset toimivat vain erätilassa tai streaming-tilassa. Katso täydellinen luettelo Data 360 -liittimistä ja käytettävissä olevista menetelmistä kohdasta Data 360: Integraatiot ja liittimet.
- Reaaliaikainen:
- Tarjoaa alle sekunnin syötteen käyttämällä muutostietojen taltiointia (CDC)
- Soveltuu ajasta riippuvaisiin työnkulkuihin (esimerkiksi petosten havaitsemiseen, personalisointiin ja toiminnallisiin mittaristoihin)
- Sisältää työntötransformaatioita ja aggregaatioita Data 360:ssa, mikä auttaa vähentämään myöhempiä I/O-kulkuja ja optimoimaan laskentakäytön
- Tukee asteittaisen CDC:n käyttöä datan häiritsemisen välttämiseksi
- Streaming:
- Tarjoaa syötteen 1–3 minuutin välein pienissä erissä
- Tasapainottaa tuoreuden ja kustannuksen
- Soveltuu kampanjoiden orkestrointiin, lähes live-osallistumistoimintoon ja operatiiviseen raportointiin
- Tukee mikrobatsien käyttämistä I/O-hälytysten hallintaan
- Aggregoi lähdedatan (jos mahdollista) vähentääkseen siirron määrää ja optimoidakseen tallennustilan
- Erä (ajoitetut lataukset):
- Tarjoaa suurten datajoukkojen säännöllisen tuonnin (esimerkiksi tunneittain, päivittäin ja viikoittain)
- Tarjoaa kustannustehokkuuden ja luotettavuuden historiallisille datajoukoille, lakisääteiselle raportoinnille ja vaatimustenmukaisuuden käyttötarkoituksille
- Varmistaa, että laskentapaikkamääritys on samassa alueessa kuin lähdesäiliö suorituskyvyn parantamiseksi ja kustannusten optimoimiseksi
- Datan syöttämisen käyttöskenaariot:
- Yhtenäistettyjen Customer 360 -profiilien luominen. Rakenna yksi totuuden lähde asiakasidentiteeteille ja -attribuuteille.
- Ylläpidä säännösten noudattamisen datajoukkoja. Noudata luottamuksellisten tietojen hallintaa, järjestystä ja auditointia.
- Kampanjoiden orkestroinnin keskittäminen. Varmista, että markkinointi, myynti ja palvelu toimivat yhdenmukaisista ja luotetuista datajoukoista.
- Suunnittelukäytännöt:
- Ota erien syöttö huomioon historiallisille tai vähäisen viiveen sietäville tarpeille (esimerkiksi arkistointiraporteille tai säännöllisille tilannekuville).
- Käytä CDC- tai streaming-rajapintoja pitääksesi toiminta- ja personalisointityönkulut tuoreina varmistaaksesi lähes reaaliaikaiset päivitykset.
- Hallitse tallennustilaa ja laskutoimien kasvua käyttämällä asteittaisia latauksia optimoidaksesi kustannukset ja tehokkuuden (enkä koko datajoukkojen uudelleen lataamisen sijaan).
- Tasauta syöttöputkia laskennan paikallisuuden ja asteittaisen käsittelyn kanssa vähentääksesi verkko-I/O-pääsyä.
- Käytä transformaatioita Data 360:ssa välttyäksesi raakadatan tarpeettomalta siirtämiseltä.
- Kustannuksissa huomioitavia asioita:
- Reaaliaikainen syöttö aiheuttaa korkeimmat laskenta- ja myyntiputken kustannukset, mikä voi olla perusteltua arvokkaille ja ajasta riippuvaisille työnkuluille (esimerkiksi personalisointi, toimintomittaristot tai Agentforce-toiminnot).
- Streaming-syötteellä on kohtuulliset laskenta- ja tallennuskulut, mikä sopii usein päivityksiin, jotka voivat kestää pieniä viiveitä (esimerkiksi kampanjoiden orkestrointi tai toimintoraportit).
- Erityn syöttö -ominaisuudella on alhaisemmat laskentakustannukset ja ennustettava tallennustila, joka soveltuu historiallisiin datajoukkoihin tai hitaisiin päivityksiin. Erädatan tuominen Salesforce-organisaatioista tiettyjen liittimien avulla on ilmaista.
- Päivitystila Sallii sinun valita Incremental Refresh -tilan, mikä vähentää syöttö- ja laskentakustannuksia. Salesforcessa suosittelemme käyttämään asteittaista päivitystä aina, kun se on mahdollista optimoidaksesi kaikkien syötetyyppien tehokkuuden.
- Kustannukset vaikuttavat myös lähteestä Data 360 saatuun I/O-päästöjen määrään. Erän koon, osioiden ja alueellisten kohdistusten optimointi vähentää siirtojen kustannuksia ja parantaa suorituskykyä.
- Toimialan skenaariot:
- Finanssi: Syöttödatajoukot ovat pakollisia Know your customer (KYC)-, Anti Money Laundering (AML)- ja petosten havaitsemiseen, kun tarkastettavuutta ja vaatimustenmukaisuutta ei voi neuvotella.
- Terveydenhuolto: Käytä syötettä potilaan henkilöllisyyden ratkaisemiseksi ja HIPAA-yhteensopiville tietueille, mikä mahdollistaa turvalliset ja yhtenäistettyjä näkymiä.
- Vähittäiskauppa: Yhdistä myyntipisteen, verkkokaupan ja kanta-asiakasohjelman tiedot yhtenäistettyihin profiileihin segmentointia ja personalisointia varten.
- Telecom: Tukee häiriöiden ennaltaehkäisyn ja käytön analyysejä kanonisella, hallitulla tilaaja-datalla.
| Ominaisuus | Reaaliaikainen syöttö | Streaming-syöttö | Erän syöttö |
|---|---|---|---|
| Viive ja tuoreus | Sisältää sekuntien välisen viiveen syöttämisen Käsittely-API-rajapintojen kautta ja tukee muutostietojen taltiointia (CDC). Tarjoaa jatkuvat streaming-putket. Soveltuu vähäisen viiveen käyttötapauksiin. | Sisältää mikrobatch-syötteen 1–3 minuutin välein natiiviliittimien kautta. Tukee asteittaisia päivityksiä. Pieni viive on odotettavissa. | Tietojen viive on odotettavissa. Sallii ajoitetut raskaan lataukset. Ominaisuus on säännöllinen (tunti, päivä ja viikko). Ei sovellu ajasta riippuvaisiin toimintoihin. |
| Ensisijaiset käyttötarkoitukset | Soveltuu hyvin toiminnallisiin ja personalisointitarkoituksiin, joilla on vähän viiveitä. Käytä ajasta riippuvaisia työnkulkuja. Tukee tapahtumiin perustuvia työnkulkuja. Käytä reaaliaikaisia huijaushälytyksiä ja toimintahälytyksiä. | Soveltuu kohtalaisen kiireellisille prosesseille. Käytä kampanjoiden orkestrointiin, live-osallistumistoimintoihin ja operatiiviseen raportointiin. Käytä ajoitetuille kampanjan käynnistimille. | Kustannustehokas suurille datajoukoille. Luotettava historiallisille analyyseille. Käytä historialliseen aggregointiin tai säänneltyyn raportointiin. Soveltuu historiallisille tai hitaille datajoukoille. |
| Arkkitehtuurin monimutkaisuus ja I/O | Sisältää korkean kustannuksen ja monimutkaisen arkkitehtuurin. Vaatii lähdesysteemit, joiden viive on alhainen. I/O intensive. Raskaat lähteet voivat aiheuttaa kyllästyneitä myyntiputkia. | Ominaisuus on yksinkertaisempi kuin reaaliaikainen arkkitehtuuri. I/O on moderoitu. Soveltuu ennustettaville ja toistuville päivityskuvioille. Erän koko vaikuttaa muistiin ja laskutoimiin. | Helppo toteuttaa. I/O-intensiteetti latausikkunoiden aikana. Verkon läpimeno voi olla pullonkaula suurille erille. |
| Kustannuksissa huomioitavia asioita | Sisältää korkeimmat laskenta- ja myyntiputken kustannukset. Oikeutettu vain arvokkaille ja ajasta riippuvaisille työnkuluille. | Sisältää moderoidut laskenta- ja tallennuskulut. Tarjoaa tasapainoisen hinnan vs. tuoreuden lähestymistavan. Soveltuu usein päivityksiin, jotka kestävät pieniä viiveitä. | Alhaisemmat laskentakustannukset ja ennustettava tallennustila. Suositus historiallisille datajoukoille tai hitaille päivityksille. Syöttö Salesforcen sisäisten myyntiputkien kautta on ilmaista. |
| Suunnittelukäytännöt | Käytä asteittaista CDC:tä vähentääksesi datan häiriintymistä. Suodata ja käytä valikoivia kenttiä vähentääksesi ylijäämiä. | Käytä mikrobatteja hallitaksesi I/O-hälytyksiä. Harkitse ikkunoitua aggregointia vähentääksesi käsittelyn kuormitusta. | Käytä arkistointiraportteja tai säännöllisiä tilannekuvia. Varmista, että laskentapaikkamääritys on samassa alueessa kuin lähdesäiliö kustannusten optimointia varten. |
Käytä Zero Copy -funktiota ulkoisten järjestelmien reaaliaikaiseen kyselyyn ilman datan kaksoiskappaleita tarjotaksesi joustavuuden, tuoreuden ja skaalattavan pääsyn suuriin tai väliaikaisiin datajoukkoihin. Se soveltuu live-mittaristoihin, tutkivaan analyysiin, tekoälyn/ML-mallin koulutukseen ja reaaliaikaiseen asiakasosallistumiseen suoraan Salesforce Data 360:n kautta.
Kun käytät Zero Copy -versiota, arkkitehtien täytyy valita kolme saatavilla olevaa datan yhdistämismenetelmää, joista jokaisella on omat vaihtoehtonsa tuoreuden, suorituskyvyn ja kustannusten välillä.
- Live-kysely
- Suorittaa kyselyitä suoraan ulkoisille järjestelmille (esimerkiksi Snowflake, Google BigQuery, Redshift, Databricks jne.) ilman datan kopiointia.
- Minimoi datan liikkuvuuden verkossa ja vähentää Salesforce Data 360 -laskentojen I/O-kertakirjautumista, mikä on optimaalista, kun predikaatteja ja aggregaatteja voidaan lykätä.
- Soveltuu reaaliaikaisille havainnoille ja lyhytaikaisille toimintomittaristoille.
- Riippuvat ulkoisen järjestelmän suorituskyvystä.
- Välimuistiin tallentaminen (Ac accelerated query)
- Tallentaa yhdistettyjen tietojen välimuistiin tallennetut kopiot väliaikaisesti Salesforce Data 360:een.
- Vähentää usein käytettyjen datajoukkojen toistuvien kyselyiden kustannuksia ja viiveitä, joiden kesto on määritettävissä (minuutteista päivään).
- Dataa ei kopioida pysyvästi tai hallita kokonaan, joten sen tuoreutta hallitaan lähteestä ajoitettujen päivitysten kautta.
- Incremental refresh tukee vain upsertejä. Poistettuja tietueita ei poisteta välimuistista.
- Suorita täysi päivitys säännöllisesti varmistaaksesi, että välimuisti pysyy synkronoituna lähteen kanssa.
- Huomautus: Snowflake-liitin tukee Poista lataus -toimintoa, joka parantaa kiihtyvyysasteita käyttämällä Snowflaken käynnistämää vaiheittaista paikannusta. Tämä on oletusarvoisesti käytössä, mutta voit poistaa sen käytöstä muokkaamalla yhteyttä.
- Tiedostojen yhdyskäyttö
- Tarjoaa suoran Vain luku -oikeuden suuria datajoukkoja varten objektien myymälöissä (esimerkiksi S3 ja GCS ja Iceberg).
- Soveltuu tekoälyn/ML-työkuormiin, historiallisiin analyyseihin ja petatavun mittaiseen raportointiin siirtämättä dataa.
- Kyselyn suorituskyky riippuu suuresti objektin muodosta, osioinnista ja verkko-I/O-toiminnosta. Suuri skannaus voi luoda paljon I/O-päästöjä, jos niitä ei ole optimoitu.
- Käyttöskenaariot
- Reaaliaikainen personalisointi ja mukautetut työnkulut tarjoavat dynaamisia tarjouksia, suosituksia ja parhaita toimintoja, kun asiakastyytyväisyys muuttuu.
- Live-mittaristot ja operatiiviset analyysit tarjoavat liiketoimintaan liittyviä mittaristoja ja keskeisiä suorituskykyindikaattoreita suoraan ulkoisista varastoista.
- AI/ML-mallin koulutus suurilla ulkoisilla datajoukoilla hyödyntää petatavun mittaista dataa datamajoista ja varastoista siirtämättä sitä tiedostojen yhdyskäyttöön.
- Toimialan skenaariot
- Vähittäiskauppa/Media: Ota käyttöön henkilökohtaisia suosituksia ja reaaliaikaista asiakasosallistumista yhdistämällä napsautusketjun tai sisällön vuorovaikutustiedot.
- Finanssi: Suorita petosten havaitseminen ja riskien pisteytys lähes reaaliajassa kyselemällä ulkoisia varastoja kopioimatta luottamuksellisia tietoja.
- Tech/Enterprise: Tukee cross-cloud-raportointia, IT-palvelumittaristoja ja operatiivisia analyysejä, kun datajoukot sijaitsevat useissa järjestelmissä.
- Suunnittelukäytännöt
- Live-kysely
- Käytä korkean QPS:n, matalan viiveen kyselyille, kun tuoreus on tärkeää.
- Työnnä predikaatteja ja aggregaatteja ulkoiseen järjestelmään välttyäksesi datan häiritsemiseltä verkossa.
- Vältä kyselyitä, jotka skannaavat tarpeettoman paljon dataa.
- Harkitse osioiden rajoittamista ja suodattimia sen sijaan.
- Tiedostojen yhdyskäyttö
- Käytä petatavuisia datajoukkoja objektien myymälöissä ilman syöttämistä.
- Pienennä viive- ja poistumiskustannuksia pitämällä objektin tallennustila samassa Cloud-alueessa kuin Salesforcen laskutoimi.
- Käytä osioituja, sarakkeellisia formaatteja (Parquet/ORC) ja ponnahdussuodattimia vähentääksesi I/O- ja verkon siirtoja.
- Hyödynnä kyselyitä ja predikaatteja suodattaaksesi ja aggregoidaksesi tietoja lähteestä, mikä vähentää datan liikkuvuutta.
- Vältä alueiden välistä datan käyttöä — ellei se ole ehdottoman välttämätöntä — koska se kasvattaa I/O-kertakirjautumista, viiveitä ja kustannuksia.
- Välimuistiin tallentaminen (Ac accelerated query)
- Tallenna usein käytetyt datajoukot välimuistiin tasapainottaaksesi kustannukset ja suorituskyvyn.
- Määritä päivitysvälit tasapainottaaksesi tuoreuden vs. kyselyn kustannukset.
- Yhteensopivuus: Noudata lähdehallintaa hyödyntämällä rivitason suojausta (RLS) ja peittämällä käytäntöjä suoraan yhdistetyissä järjestelmissä.
- Alla on joitakin suositeltuja käytäntöjä RLS:n yhtenäistämiseksi ja peittämiseksi eri sovellusalustoilla:
- Käytä keskitettyä Enterprise-tunnusta. Kartoita Salesforce Data 360 -palvelun käyttäjät ja entiteetit yksilölliseen, keskitettyyn yritystunnukseen, joka vastaa ulkoisten järjestelmien identiteettejä.
- Suojauskäytäntöjen yhdenmukaistaminen. Varmista, että yhdistettyjen järjestelmien RLS- ja peittokäytäntöjä sovelletaan kartoitetun identiteetin perusteella. Tämä säilyttää vaatimustenmukaisuuden, kun ulkoista dataa kysellään.
- Identity-skeemojen standardointi. Ylläpidä yhdenmukaisia identiteettiattribuutteja (sähköposti, käyttäjätunnus, asiakastunnus jne.) kaikissa tietolähteissä välttyäksesi vastaavuuksilta ja käyttöoikeuksien rikkomuksilta.
- Alla on joitakin suositeltuja käytäntöjä RLS:n yhtenäistämiseksi ja peittämiseksi eri sovellusalustoilla:
- Live-kysely
- Kustannuksissa huomioitavia asioita
- Live-kysely: Kyselykohtainen maksu -mallissa kustannukset lasketaan ulkoisen järven talon laskutoimista, mikä voi aiheuttaa korkean QPS-arvon nousua. Tämä soveltuu tuoreuteen kriittisiin käyttötarkoituksiin, joissa arvo on suurempi kuin kustannusten muuttuvuus.
- Kiireistetty kysely (välimuisti): Tämä menetelmä vähentää kyselyiden kustannuksia (verrattuna Live-kyselyyn) vähentämällä lähdejärjestelmään kohdistuvia tapaamisia, mutta se lisää erädatan tuontikustannuksia välimuistin täyttämiseen ja päivittämiseen. Tämä soveltuu usein käytetyille datajoukoille.
- Tiedoston yhdyskäyttö: Tämä on edullisin tallennusvaihtoehto objektien tallennustilassa olevaksi dataksi. Kyselyiden kustannukset riippuvat kuitenkin tiedoston koosta, osioinnista ja leikkaamisesta. Tämä soveltuu historialliseen dataan tai joukkodataan petatavuina.
| Päätöspiste | Live-kysely | Välimuistiin tallentaminen (Ac accelerated query) | Tiedosto yhdyskäyttö |
|---|---|---|---|
| Datan lähteen sijainti | Ulkoiset datalähteet (esimerkiksi Snowflake, Google BigQuery, Redshift ja Databricks) | Ulkoiset datalähteet (esimerkiksi Snowflake, Google BigQuery, Redshift ja Databricks) | Objektien myymälät tai pilvitilastot (esimerkiksi S3, ADLS ja GCS), jotka käyttävät usein avoimien taulukoiden muotoja, kuten Iceberg. |
| Käyttötarkoitus/käyttötarkoitus | Soveltuu interaktiivisille analyyseille ja reaaliaikaisille mittaristoille. Soveltuu reaaliaikaiseen personalisointiin ja dynaamisia työnkulkuja varten. | Soveltuu silloin, kun kyselyt ovat yleisiä, mutta hieman vanhentuneet tulokset ovat hyväksyttäviä. Soveltuu BI-mittaristoille ja segmentoinnille. | Soveltuu suuria erien käsittelyyn ja AI/ML-mallin koulutukseen. Soveltuu historiallisiin analyyseihin ja petatavun skaalan raportointiin. |
| Jäähdytys/väliaikaisuus | Tarjoaa mahdollisimman paljon tuoreutta Suorittaa kyselyitä suoraan reaaliajassa. Tukee alitason päätöksentekoa, kun lähdejärjestelmä on optimoitu vähäisen viiveen kyselyille tehokkaan predikaatin pikavalinnalla. | Käytä, kun hieman vanhentuneet tulokset ovat hyväksyttäviä. Tuoreus riippuu välimuistin aikavälistä, joka voidaan määrittää 15 minuutista 7 päivään. | Soveltuu erien raskaille, läpimenointensiteettisille töille. Ei sovellu reaaliaikaiseen mittaristoon. |
| Käyttöoikeuskuvio | Soveltuu harvoille tai ad hoc -kyselyille, joissa tuoreus on tärkeää ja kyselyiden määrä on vähäistä. Kustannukset nousevat merkittävästi korkealla QPS:llä, joten on tärkeää arvioida välimuistiin tallentaminen (Accelerated Query), kun kyselyiden yleisyys on korkea. | Soveltuu raskaan lukeman skenaarioille. Parantaa suorituskykyä yleisten käytön kuvioissa. | Tarjoaa vain-sähköpostin käyttöoikeuden. Soveltuu petatavun skaalautuville datajoukoille ilman syötettä. |
| Suorituskyvyn edistäjät | Riippuu suuresti ulkoisen lähdejärjestelmän suorituskyvystä. Soveltuu silloin, kun predikaatteja ja aggregaatteja voidaan lisätä lähteeseen. | Vähentää viiveä verrattuna toistuviin live-kyselyihin. Suorituskyky riippuu välimuistin hallinnasta ja aikaväleistä. | Suorituskyky riippuu suuresti objektin muodosta, osioinnista ja ulkoisen järjestelmän läpimäärästä. Käytä osioituja sarakemuotoja (Parquet/ORC). |
| Kustannusten vaikutukset | Tämä on kyselykohtainen maksumalli, joten ulkoisen järven talon laskutoimet aiheuttavat kustannuksia. Se on kustannustehokas harvoille kyselyille, mutta kustannukset saattavat kasvaa korkean QPS-määrän myötä. | Kustannukset ovat alhaisempia kuin toistuvilla live-kyselyillä. Se vähentää ulkoisen lähteen kyselemisen tarvetta useita kertoja, mutta se lisää välimuistin tallennustilaa ja päivitystoimia. | Tämä on edullisin tallennusvaihtoehto. Saman alueen AWS-määrityksiä (esimerkiksi US-East-1:ssä sijaitseva S3, jossa on myös US-East-1:ssä sijaitseva Data Cloud -vuokralainen), ei kuluteta krediittejä käytetyille riveille. Alueiden väliset tai pilvipalvelimien väliset kokoonpanot (esimerkiksi Azure, GCS tai eri AWS-alueet) aiheuttavat luotonkulutusta käytetyille riveille. Kyselyiden kustannukset riippuvat myös tiedoston koosta, osioinnista ja predikaattien pushdown-optimoinnista. |
| Tärkeimmät huomioitavat asiat | Vältä suodattamattomia kyselyitä, jotka skannaavat tarpeettomia datamääriä. | Tämä lähestymistapa vaatii välimuistin hallinnan. Ei sovellu alitason päätöksentekoon. | Kyselyiden suorituskyky riippuu suuresti optimoinnista osioinnin ja predikaattien pudottamisen kautta. |
Hybridirakenteet sallivat arkkitehtien ankkuroida kriittisiä datajoukkoja Data 360:ssa keskitetyn hallinnan aikaansaamiseksi ja hyödyntää yhdistettyjä kyselyitä tuoreuden, identtisyyden vähentämisen ja laajennettavan pääsyn suuriin ulkoisiin datajoukkoihin. Tämä lähestymistapa tasapainottaa I/O-, laskenta-paikkamääritys-, kustannus- ja vaatimustenmukaisuusvaatimukset.
Käytä hybriditoimintatapaa tasapainoisen hallinnan, tuoreuden ja toiminnan tehokkuuden saavuttamiseksi yhdistämällä datan tuonti ja nolla kopiointia tarjotaksesi reaaliaikaisia, interaktiivisia havaintoja. Käytä syötettä arvokkaille, säänneltyille datajoukoille, joissa seuranta, RLS ja peittäminen vaaditaan, sekä yhdistämistä epävakaille tai raskaille datajoukoille, joissa tuoreus ja suorituskyky ovat tärkeitä.
- Käyttöskenaariot
- Omni-channel-osallistumistoiminto: Yhdistä historiallisia asiakastietoja reaaliaikaisiin toimintatapoihin tarjotaksesi yhdenmukaisia ja asiayhteydestä riippuvaisia käyttökokemuksia.
- AI/ML-putket: Kouluta malleja koodattuihin, kanonisiin datajoukkoihin rikastamalla niitä raaka- tai reaaliaikaisilla signaaleilla ulkoisista lähteistä.
- Yhdistetyn vaatimustenmukaisuuden ja joustavuuden vaatimukset: Käytä luottamuksellisille tiedoille tiukkaa hallintaa ja yhdistämistä liiketoiminnan joustavuuteen.
- Toimialan skenaariot
- Vähittäiskauppa: Käytä identiteettien ratkaisemiseen ja profiilien yhtenäistämiseen syötettä ja reaaliaikaisia tarjouksia ja personalisointia varten liitettä.
- Terveydenhuolto: Ylläpidä kultaisia potilastietueita syötteiden kautta käyttämällä IoT-laitteiden viestiketjujen ja antatietojen liitettä välittömään kontekstiin.
- Finanssipalvelu: Tuo säänneltyjä tietoja säännösten noudattamisen hallittuun lakeen käyttämällä liitettä ulkoisten petosten havaitsemiseen ja riskien valvontaan.
- Suunnittelukäytännöt
- Ankkurin hallinta syöttötoiminnolla: Tuo arvokkaita tai säänneltyjä tietoja kanonisiin malleihin varmistaaksesi Trustin ja vaatimustenmukaisuuden.
- Käytä yhdistämistä tuoreudelle: Sallii ulkoisten järvien talojen tarjota reaaliaikaista tai laajamittaista datan käyttöä ilman identtisiä tietueita.
- Tasapaino kustannukset vs. suorituskyky: Profiloi työkuormia määrittääksesi, milloin käyttää syötettä vs. liitettä, mikä minimoi tarpeettomat tallennus- ja kyselykulut.
- Käytä kerrostettua hallintaa: Ota käyttöön keskittynyt hallinta tuodulle datalle hyödyntämällä yhdistettyjen järjestelmien suojausasetuksia (esimerkiksi RLS ja peittäminen).
- Huomautus: Kun suunnittelet hybridiputkia, on tärkeää varmistaa historiallisten datajoukkojen asteittainen tuonti ja siirtää aggregaatioita tai suodattimia yhdistettyihin lähteisiin optimoidaksesi I/O- ja laskentakäytön.
- Kustannuksissa huomioitavia asioita
- Punnitse kokonaiskustannukset vs. suorituskyky yhdistämällä vaatimustenmukaisuuden tai kriittisten tietojen saanti liittoutumisen kanssa, kun tuoreus on tarpeen.
- Ota I/O- ja laskentatoimintojen jakauma huomioon, kun yhdistät syötteen ja liittämisen. Jos haluat vähentää lähdejärjestelmien toistuvien kyselyiden laskentakustannuksia, käytä välimuistiin tallentamista (Accelerated Query) tehokäyttöisille ja usein käytetyille yhdistetyille datajoukoille.
- Käytä tätä sääntöä ohjataksesi syöttö vs. yhdistämispäätöksen: Kun tietoja käytetään usein, mutta niitä muutetaan harvoin, Accelerated Query on tavallisesti kustannustehokkaampi. Kun tiedot kuitenkin muuttuvat usein (suhteessa käyttötiheyteen), live-kysely tai syöte on sopivampi. Alla on muutama esimerkki kustannuksista:
- Nopeutus voittaa: Mittaristoa, joka on laadittu 1 miljoonasta tietueesta ja joka päivitetään päivittäin ~10 000 muutoksella, tarkastellaan 20 kertaa päivässä. Ac acceleration kustannukset vastaavat noin ~600 krediittiä/kuukausi vs ~4,200 krediittiä/kuukausi Live-kyselyille.
- Live-kysely voittaa: Segmentit, jotka julkaistaan 20 kertaa päivässä käyttämällä dataa, joka muuttuu 30 minuutin välein. Live-kyselyt maksavat noin ~ 4 200 krediittiä/kuukausi vs. ~ 28 800 krediitti/kuukausi tämän päivitystiheyden nopeuttamiseksi.
Tutustutaanpa tarkemmin muutamaan yleiseen arkityyppiin, jotka osoittavat, miten tätä logiikkaa käytetään.
- "Yksittäinen totuuden lähde" -arkkityyppi: Keskitä ja hallitse
- Skenaario: Sinun täytyy laatia vaatimustenmukaisia ja yhtenäistettyjä Customer 360 -profiileja koko globaalille yrityksellesi. Tiedot saadaan kymmenestä eri järjestelmästä, niiden täytyy noudattaa tiukkoja GDPR- ja _CCPA-_asetuksia, ja ne toimivat totuuden lähteenä kaikissa markkinointi- ja palvelutoiminnoissa.
- Suositeltu kuvio: Datan syöttö. Tässä prioriteetti on hallinta, Trust ja hallinta. Datan tuominen Data 360:ään on ainoa tapa luoda täysin auditoitava, kanoninen profiili, joka on eristetty lähdejärjestelmistä.
- "Real-Time Insights" -arkkityyppi: Analysointi ilman siirtämistä
- Skenaario: Datatieteellisten tiimisi täytyy suorittaa tutkimuskyselyitä massiiviselle ja jatkuvasti päivittyvälle transaktiotaulukolle Snowflakessa. Samalla päätiimisi haluaa live-arvoisen BI-mittariston, joka perustuu samaan dataan. Päivittäisten petatavujen datan siirtäminen tapahtuu hitaasti ja kalliiksi.
- Suositeltu kuvio: Zero Copy -liitos. Tässä prioriteetti on nopeus, joustavuus ja kustannustehokkuus skaalassa. Zero Copy sallii sinun hyödyntää olemassa olevan datan varaston tehoa reaaliaikaisiin kyselyihin ilman datan kopioinnin ylijäämiä ja viiveitä.
- "Hybrid Intelligence" -arkkityyppi: Ydimen hallintaoikeus, reunojen yhdistäminen
- Skenaario: Haluat rikastaa hallittuja ja tuotuja asiakasprofiileja reaaliaikaisilla toimintasignaaleilla (esimerkiksi verkkosivuston napsautuksilla) datasalissa. Tarvitset ydinprofiilin vakauden, mutta live-datan välittömyyttä tehdäksesi personalisoinnista ajankohtaista.
- Suositeltu kuvio: Hybridimenetelmä. Käytä datan syöttämistä luodaksesi asiakastietojesi vakaan ja hallitun ydimen. Käytä Zero Copy -toimintoa yhdistääksesi haihtuvaan reaaliaikaiseen "edge"-dataan ja liittääksesi ne sitten yhteen kyselyn aikana saadaksesi täydellisen näkymän.
Enterprise-datastrategia ei ole enää keskittynyt yksittäisen integraatiokuvion valitsemiseen — se koskee hallitun joustavuuden rakentamista yhteentoimivassa datan ekosysteemissä. Oikea lähestymistapa kartoittaa jokaisen lähdejärjestelmän kuvioon, joka sopii parhaiten sen tuoreuteen, hallintaan, kustannuksiin ja käyttöoikeuksiin:
- Tuo tehtävään liittyviä, säänneltyjä datajoukkoja Salesforce Data Cloudiin vaatimustenmukaisuutta, identiteettien ratkaisemista ja toiminnallisia työnkulkuja varten.
- Yhdistä dataa käyttämällä Zero Copy -toimintoa tarjotaksesi live-, tutkinta- ja tekoälyanalyysejä käyttämättä identtistä tallennustilaa.
- Käytä välimuistiin tallentamista (Accelerated Query) vähentääksesi lähdejärjestelmän latausta ja luotonkulutusta, kun kyselyiden yleisyys on korkea ja datan muutosten yleisyys on alhainen
Salesforce Data 360 on Hyperforce tarjoaa joustavuutta ja skaalattavuutta useille alueille. Sen Icebergin taulukoilla varustettu avoimen järven talo mahdollistaa laskutoimien erottamisen ja yhteentoimivuuden sellaisten sovellusalustojen kanssa, kuten Snowflake, Databricks ja S3 Iceberg, joka muodostaa todellisen yhteentoimivan ja pilvipohjaisen datan ekosysteemin selkärangan.
Kun datan ekosysteemit kehittyvät, meidän on jatkuvasti tasapainotettava tuoreus, kustannukset, suorituskyky ja vaatimustenmukaisuus säilyttääksemme arkkitehtuurin joustavuuden. Siksi on tärkeää varmistaa, että sovellusalustasi toimii tulevaisuudessa yhtenäistämällä tuotu ja hallittu data yhdistetyllä käyttöoikeudella. Tämä mahdollistaa reaaliaikaisen älykkyyden, tekoälyn aktivoinnin ja yritystason personalisoinnin pilvipalveluissa, alueissa ja liiketoiminta-alueissa.
Pidä mielessäsi, että kaikkiin ratkaisuihin sopivat ratkaisut eivät sovellu useimmille yrityksille. Optimaalinen strategia kartoittaa oikean kuvion oikeaan liiketoimintaohjaimeen.
Yugandhar Bora on Salesforcen ohjelmistojen suunnittelu-arkkitehti, joka on erikoistunut datan arkkitehtuuriin Data and Intelligence -sovellusalustalla. Hän johtaa Enterprise Architecture Review Board (EARB) -aloitteita, jotka keskittyvät datan hallintaan ja yhtenäistettyihin datamalleihin sekä auttavat automatisoitujen sovellusalustan provisiointiratkaisujen kehittämisessä.
Jan Fernando on Salesforcen pääarkkitehdin toimiston (OCA) pääarkkitehti, joka liittyi Salesforceen vuonna 2012. Hänellä on runsaasti kokemusta startup-ekosysteemistä. Ennen kuin hän liittyi OCA:hen, hän työskenteli yli vuosikymmenen ajan Platform-organisaatiossa, jossa hän johti useita tärkeitä teknologia-transformaatioita.